How to Speculate about Uncertainty in Agentic Coding? A Draft-Model Gate Method
用草稿模型门控预测编程智能体失败的不确定性
🧭 LLM Agent 执行前失败预测门控 ★ 深度解读
Tel Aviv University · IITU
用小型草稿模型对智能体轨迹做投机打分，在动作执行前门控拦截，降低错误率与成本
📌 工作参考价值（4 点）
- 对调用黑盒 LLM API 的 Agent 工具链（如 SQL 查询、搜索 API、广告投放 API），可以在不加 logits 的情况下做执行前拦截：用一个小型开源草稿模型对已生成的思维-动作轨迹做 teacher-forced 前向，提取 surprisal / gap / entropy，再接线性 calibrator 预测下一步工具调用是否会成功。
- 特征工程上务必把 reasoning span 和 action/tool-call span 分开统计。论文显示二者熵分布相反，混在一起会抵消失败信号，phase-aware 特征带来 +5–6 AUROC。电商 Agent 里常见的“先分析再调接口”结构可以直接复用。
- 用 veto gate 替换 execute-fail-retry 循环：失败概率高时不执行、注入 replan hint 重新生成，能减少 14–19% token 成本、6–8pp 执行错误率，适合对成本敏感、工具调用昂贵的场景；但要注意 false veto 可能轻微拉低端到端成功率。
- 草稿模型在一个开源 Agent 轨迹上蒸馏后，可迁移到闭源 Agent（如 Claude），因此多模型/多供应商共存的推荐或电商 Agent 平台，可以训练一个通用不确定性打分器。